iT邦幫忙

2025 iThome 鐵人賽

DAY 1
0
Security

AI都上線了,你的資安跟上了嗎?系列 第 1

🧠 【Day 1】AI 都上線了,你的資安也跟上了嗎?

  • 分享至 

  • xImage
  •  

📍 Day 1:AI 都上線了,你的資安也跟上了嗎?

🔰 系列前言:這 35 天,我要寫些什麼?

35 天主題:從 AI 專家的角度,解剖 AI 應用裡的資訊安全陷阱。

在模型橫空出世、API 橫行四海、ChatGPT 開始幫大家寫週報的這個時代,
我身邊的朋友分成兩派:一派在 fine-tune LLM,另一派則 fine-tune 自己適應這個世界。

但我想問的是:

「你們真的知道這些模型背後藏著什麼資安風險嗎?」

這系列不是來賣焦慮的,
我是來帶大家從 AI 工程師的日常 出發,一頁一頁打開這個被低估的主題:AI × 資安


👨‍💻 開場:沒人問,但你應該想問

你有想過嗎?

  • 你今天用的 ChatGPT Plugin,把 prompt 和資料一起發送到哪去了?
  • 你老闆叫你把 PDF 丟進 RAG,卻沒告訴你裡面有 NDA?
  • 你在 HuggingFace 上抓到一個超香的模型,pip install 後發現它有 .py 惡意 payload?

如果你沒想過這些問題,恭喜你,你跟 98% 的開發者一樣 —— 只在乎它會不會跑,不在乎它會不會爆。


🔐 資安從來不是「額外的工作」

很多人以為資安是某個資安組、Compliance 人員、或 SOC 平台該處理的事。
錯了。
在 AI 應用裡,資安是一種預設值 default,不是外掛 add-on。

想想你最近一次部署:

from langchain.chains import RetrievalQA

這一行看起來很正常對吧?但你有沒有問過這幾個問題:
1. Retrieval source 的 embedding,有去除 PII 嗎?
2. 使用者 query 有 log 下來嗎?用的是哪層加密?
3. model 輸出是不是會被 cache?會不會洩漏別人的敏感問句?

你的 AI 系統,不只是 LLM + Flow,它是一個有「安全狀態」的應用實體。

🔎 今天給你 5 個思考題(也是這系列的起手式)
問題
為什麼你該在意
1️⃣ 你的 Prompt Input 有記錄下來嗎?
Prompt = 使用者意圖 + 敏感資訊
2️⃣ 你用了別人的 API,他是誰?
API = 開了一扇門,卻沒看過來的是誰
3️⃣ 你部署了 RAG,embedding 來源可信嗎?
RAG ≠ 萬能問答機,它吃什麼就吐什麼
4️⃣ 模型更新了,你還有備份前一版嗎?
回朔能力是 AI Incident Response 的基礎
5️⃣ 你有測過 prompt injection 嗎?
沒測過 = 預設信任使用者,就是災難預告

🤖 為什麼我想寫這 35 篇

我是資安工程師出身,我是從「太會用 AI 而開始懷疑它」開始反思的。

我發現,AI 開發者們都太樂觀了。
太相信模型、太快丟資料、太晚思考後果。

所以我想用這系列寫一些「工程師看得懂,資安人想分享,PM也能理解」的東西。
每天一篇,談:
• 攻擊面如何長出來的
• 如何最小化暴露
• 開發流程中哪裡可以做防線
• 有哪些 open source 工具可以幫忙

🔮 明日預告:Day 2|AI 模型會偷資料嗎?

你以為它只在回答你,事實上它正在「記住你」。
明天我們要聊:Prompt 與模型上下文如何成為隱私破口。


下一篇
📍 Day 2:AI 模型會偷資料嗎?
系列文
AI都上線了,你的資安跟上了嗎?3
圖片
  熱門推薦
圖片
{{ item.channelVendor }} | {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言